Laplace's Rule of Succession(라플라스의 휴속 규칙)

내일 해가 뜰 확률은 얼마인가?

최근 연속 $n$ 일 동안 연속으로 해가 떴다면, 내일 해가 뜰 확률은 얼마인가?
해가 뜰 확률은 미지수이다.

해가 뜰 확률이, 미지수 $p$ 라고 할 때 각각의 해가 뜰 확률은 $X_{1}, X_{2}, \dots \sim B er n (p)$ 이다. $p$ 가 주어졌다고 했을 때 각각 조건부 독립이다.

베이지안 입장에서 미지수라는 불확실성을 분포로써 보아야 한다고 한다. 따라서 $p$ 를 확률 변수로 보며, $p$ 의 증거가 주어질 때 $p$ 의 분포가 무엇인지 구할 수 있다.

라플라스는 완전한 불확실성을 보장하기 위해 균등 분포로 뒀다. ⇒ $p \sim U ni f (0, 1)$ : as Prior for Bayesian

Solve

$p$ 가 주어진다고 했을 때, $S_{n} = X_{1} + ... + X_{n}$ 는 조건부 독립에 의해 $S_{n} ∣ p \sim B in (n, p)$ : $p$ 가 주어졌을 때의 분포.
posterior, 즉 증거가 수집되고 난 후의 사후 분포는 $p ∣ S_{n}$ . 즉, $X_{j}$ 를 각각 관찰함으로써 얻어 낼 수 있는 $p$ 의 분포.
연속 $n$ 일 동안 해가 떴을 때, 즉 $S_{n} = n$ 라는 조건 하에 내일 해가 뜰 확률은 $P (X_{n + 1} = 1∣ S_{n} = n)$ : 구하고자 하는 확률.

조건부 확률밀도함수 $f (p ∣ S_{n} = k)$ 에 대해

f (p ∣ S_{n} = k) = \frac{P ( S _{n} = k ∣ p ) f ( p )}{P ( S _{n} = k )}

⇒ 지난 $k$ 일 만큼만 해가 떳다면, 그에 대해 해가 뜰 확률에 대한 믿음을 어떻게 갱신할 지에 대한 확률밀도함수. 확률밀도함수 자체는 확률이 아니지만, 미소 증분을 곱하면 그에 대해서 그 확률이 정해지므로 확률과 비슷하다고 생각하고 계산.

이 때, Prior은 정규 균등분포이므로 $f (p) = 1$ , 그리고 $P (S_{n} = k)$ 부분은 $p$ 와 무관하므로 일종의 상수 취급이 가능하다. 따라서 $f (p ∣ S_{n} = k)$ 는 이항 분포에서 $p$ 와 무관한 상수인 $(k n)$ 을 제외한 $p^{k} (1 - p)^{n - k}$ 에 비례한다.

매일 해가 연속 $k = n$ 일 동안 떴으므로, $f (p ∣ S_{n} = n) = c \cdot p^{n}$ . $c$ 는 상수인데, $p$ 에 대해서 0부터 1까지 적분했을때 그 값이 1이어야 하므로,

\int_{0}^{1} c \cdot p^{n} d p = c \cdot [\frac{p ^{n + 1}}{n + 1}]_{0}^{1} = \frac{c}{n + 1} = 1 \to c = n + 1

f (p ∣ S_{n} = n) = (n + 1) \cdot p^{n}

마지막으로 구하고자 하는 확률을, 관측을 바탕으로 추정해야 하므로, 불확실성을 정량화하기 위해 평균적으로 예상되는 값인 기대값으로 구한다.

P (X_{n + 1} = 1∣ S_{n} = n) = \int_{0}^{1} (n + 1) p \cdot p^{n} d p = \frac{n + 1}{n + 2} [p^{n + 2}]_{0}^{1} = \frac{n + 1}{n + 2}